AI Papers Daily

#A-B Test

4 篇

Inventory-Grounded Policy-Level Optimization for Training-Free AI Search

基于库存证据的策略级优化：面向动态库存 AI 搜索的训练无关方法

🧭 AI 搜索 · 训练无关策略优化 ★ 深度解读

Huawei Technologies Co., Ltd., China

训练无关地把动态库存证据与可复用决策指南解耦，提升 AI 搜索 CTR 并减少坏例

📌 工作参考价值（4 点）

• 把策略规则与库存事实分离：不要往 prompt 里写具体 item/类目是否存在，而是写成条件化、可执行的 Guideline，运行时注入 inventory portrait；库存变动时不必频繁改 prompt 或重训。
• 用离线 stochastic rollouts + LLM Judge 分组：同 query 同时有成功/失败轨迹才形成对比样本；全失败组用 inventory-guided exploration 主动回查漏召回路由，避免把“无库存”误判为“策略差”。可迁移到电商搜索 bad case 聚类与策略补丁生成。
• 上线前做回放回归门控：每个候选 Patch 必须在 Target queries 和 Background/fixed regression set 上通过胜率、Precision/Recall/F1 drop 阈值；组合时逐个加入并全量回放，可控制 prompt/规则更新的回归风险。
• 轻量服务化：Guideline store ≤100，每阶段最多注入 3 条、平均 1.7 条，prompt 增量平均 247 tokens，latency p50 仅 +49ms；适合作为电商 AI 搜索/导购 Agent 的策略层。

LLM | 2026-09-04 | cs.IR | score 9/10

Training-Free OptimizationInventory-GroundedAI SearchPolicy GuidelinesLLM JudgeA-B Test

Knowledge-Geometry Decoupling: Refreshable Pretrained Transfer for Streaming Recommendation

知识–几何解耦：流式推荐中可持续刷新的预训练迁移

🧭 流式推荐 · 预训练知识迁移 · 参数解耦 ★ 深度解读

Xiamen University · Shopee Pte. Ltd.

通过解耦预训练知识刷新与任务几何学习，使每日更新不干扰下游模型，在电商搜索中提升GMV 1.75%

📌 工作参考价值（4 点）

• BMTP 去噪预训练：仅对协同 (item co-occurrence graph) 和语义 (text embedding cosine) 相关的未来 item 做预测，过滤掉 session 边界的噪声 transition。可在行为序列预训练中引入双阈值过滤，提升知识纯度。
• 解耦读写所有权：让任务模型通过只读交叉注意力读取编码器状态，并通过正交低秩残差 (ACR) 写入任务特有几何，预训练编码器可每日刷新而不破坏下游适配。可推广到多任务排序：每个任务持有独立的 ACR 和 task learner，共享编码器。
• 工程落地友好：训练成本约为单次编码器更新的两倍，推理延迟不增加（任务 learner 仅增加旁路参数）。在实时流式场景可直接复用这种每日刷新 + 任务冻结调优的管线。
• 长期流式下的稳定性：冻结迁移 (如 GPSD) 在 90 天线上会衰减，KGD 持续有效。若自己业务面临分布漂移，可借鉴 decoupled owner 思路，避免共享参数导致刷新与任务冲突。

RecSys | 2026-08-02 | HF Daily | score 9/10

Streaming RecommendationPretrain-TransferKnowledge DecouplingSequential RecommendationE-commerce SearchA-B Test

LLM-Based Re-Ranking for Real Estate Search

基于 LLM 的对话式房屋搜索重排序

🧭 对话推荐 · LLM 重排

QuintoAndar · Growthloop

用 LLM 融合多轮对话上下文重排房屋候选，线上 CTR +5.3%, 预约看房 +4.8%

📌 工作参考价值（4 点）

• 在对话式推荐流程中插入 LLM 重排模块，将多轮对话总结后与物品描述拼接，让 LLM 产出 relevance score，能有效捕捉非结构化意图。
• 构建离线评估数据时，可用 LLM-as-a-Judge 自动标注 query-item 对，再辅以人工验证，低成本获得大规模训练/评测样本。
• 线上部署需权衡延迟与成本：文中在召回后仅对 Top-K 重排，且使用缓存与批量推理策略，适合对延迟敏感的业务。
• 重排 prompt 工程是核心：需将对话历史压缩为结构化摘要（如预算、位置偏好），并限定输出格式（如 JSON 分数），确保稳定性和可解析性。

RecSys | 2026-07-16 | cs.IR | score 7/10

LLM Re-RankerConversational SearchReal EstateA-B TestLLM-as-a-Judge

Long-term User Engagement Optimization through Model-agnostic Downstream Rewards Learning

通过模型无关的下游奖励学习优化长期用户参与

🧭 长期留存优化 · 下游代理奖励 ★ 深度解读

Pinterest

提出模型无关的下游奖励框架，用会话级代理信号近似长期留存，在 Pinterest 多表面 A/B 测试中稳定提升活跃度与深度参与。

📌 工作参考价值（4 点）

• 离线筛选代理奖励的思路：通过用户患病率归一化（与基线比较）去除曝光偏差，再用随机森林检验会话行为与未来留存的关联，可迁移到电商/广告场景筛选长期价值 proxy（如深层浏览、收藏、加购后的继续行为）。
• 三类可复用的奖励信号：①深度会话奖励（对后续 save/下载等行为做折扣求和）；②负面奖励（惩罚短停留+无后续高意图动作的浅层浏览）；③新用例采纳奖励（推荐超出历史兴趣簇的内容并带来正向行为），可与现有排序模型多目标融合。
• 奖励标签在线生成基础设施：用序列化存储每日行为事件并在数据加载时动态计算标签，替代预计算表，大幅缩短新奖励迭代周期（从 3 周→2 天），适合需要快速实验的业务。
• 多目标权重解耦调优：奖励 head 权重在模型外通过 HyperOPT 单独搜索，不强制端到端联合训练，可保持即时指标不劣化，同时方便添加新 reward head。

RecSys | 2026-07-15 | cs.IR | score 9/10

Downstream RewardsUser RetentionProxy RewardsModel-agnosticLong-term EngagementA-B Test